注释数据是应用监督机器学习方法的要求，注释的质量对于结果至关重要。尤其是在处理不确定性多种多样的文化遗产藏品时，注释数据仍然是一项手动，艰巨的任务，由域专家执行。我们的项目始于两套已经注释的中世纪手稿图像，但是基于学术和语言差异，这些图像并不完整，并包含冲突的元数据。我们的目的是为组合数据集创建（1）一组统一的描述性标签，以及（2）对高质量的分层分类，可以用作监督机器学习的有价值的输入。为了实现这些目标，我们开发了一个视觉分析系统，以使中世纪主义者能够合并，正规化和扩展用于描述这些数据集的词汇。单词和图像嵌入的视觉接口以及数据集的注释的共发生，同时允许注释多个图像，建议注释标签候选者并支持组成标签的层次分类。我们的系统本身实现了一种半监督的方法，因为它根据中世纪主义者的反馈更新视觉表示，并且一系列用法场景记录了其对目标社区的价值。
translated by 谷歌翻译
视频检索随着视觉模型的发展取得了巨大进展。但是，进一步改进这些模型需要其他标记的数据，这是一项巨大的手动努力。在本文中，我们提出了一个框架MKTVR，该框架利用了从多语言模型的知识转移来提高视频检索的性能。我们首先使用最先进的机器翻译模型来构建伪真实的多语言视频文本对。然后，我们使用这些数据来学习视频文本表示，其中英语和非英语文本查询在基于预审前的多语言模型的常见嵌入空间中表示。我们在四个英语视频检索数据集上评估了我们提出的方法，例如MSRVTT，MSVD，DIDEMO和CHARADES。实验结果表明，我们的方法在所有数据集上实现了最先进的结果，超过了先前的模型。最后，我们还在涵盖六种语言的多语言视频回程数据集上评估了我们的模型，并表明我们的模型在零拍设置中优于先前的多语言视频检索模型。
translated by 谷歌翻译
基于变压器的模型的突破不仅彻底改变了NLP字段，而且彻底改变了视觉和多模式系统。但是，尽管可视化和可解释性工具已用于NLP模型，但视觉和多模式变压器的内部机制在很大程度上仍然不透明。随着这些变压器的成功，了解它们的内部运作越来越重要，因为揭开这些黑色盒子将导致更有能力和值得信赖的模型。为了为这一任务做出贡献，我们提出了VL-Interpret，它提供了新颖的交互式可视化，以解释多模式变压器中的关注和隐藏表示。 VL解释是一种任务不可知论和集成的工具，（1）在视觉和语言组件的所有层中跟踪注意力头的各种统计数据，（2）通过易于阅读的热图和跨模式和模式的关注可视化。 （3）绘制视觉和语言令牌穿过变压器层时的隐藏表示。在本文中，我们通过分析KD-VLP（一种基于端到端的视觉视觉方式多模式变压器的模型）在视觉常识推理（VCR）和两个，两个，两个，两个，两个，两个，两个，两个，两个，两个，两个接线型VLP（VCR）的任务，两个，两个，两个，两个，两个，两个，两个，两个，两个，两个，两个vlp，两个vlp，两个vlp，两个vlp，两个，我们在本文中证明了VL解干的功能。视觉问题回答基准。此外，我们还提出了一些有关通过我们的工具学到的多模式变压器行为的有趣发现。
translated by 谷歌翻译